大多数用于音频任务的机器学习模型都在处理手工制作的功能，即频谱图。但是，仍然未知是否可以用基于深度学习的功能代替频谱图。在本文中，我们通过将不同的可学习神经网络与成功的频谱图模型进行比较，并提出了基于双U-NET（GAFX-U）的一般音频提取器（GAFX）（GAFX-R（GAFX-R）（GAFX-R）（GAFX-R）（GAFX-R）（GAFX-R）（GAFX-R）（GAFX-R）（GAFX-R）（GAFX-R）（GAFX-R）（GAFX-R）（GAFX-R）（GAFX-R）（GAFX-R）（GAFX-R）（GAFX-R）（GAFX-R）（GAFX-R）（GAFX-R）（GAFX-R）（GAFX-R）（GAFX-R）（GAFX-R）（GAFX-R））和注意力（GAFX-A）模块。我们设计实验以评估GTZAN数据集上的音乐流派分类任务，并遵循音频频谱变压器（AST）分类器Achie Achie Achie aCHIE竞争性能，对我们框架的不同配置和模型GAFX-U进行了详细的消融研究。

在本文中，我们研究了启用高速雾无线电访问网络（F-RAN）中的内容受欢迎程度预测问题。为了以高准确性和低复杂性预测内容的流行，我们提出了基于高斯流程的回归器，以模拟内容请求模式。首先，我们提出的模型捕获了内容特征和受欢迎程度之间的关系。然后，我们利用贝叶斯学习来训练模型参数，这对于过度拟合非常可靠。但是，贝叶斯方法通常无法找到后验分布的闭合形式表达。为了解决此问题，我们采用随机方差降低梯度哈密顿蒙特卡洛（SVRG-HMC）方法来近似后验分布。为了利用其他FOG接入点（F-AP）的计算资源并减少开销的通信，我们提出了一个量化的联合学习（FL）框架与贝叶斯学习相结合。量化的联合贝叶斯学习框架允许每个F-AP在量化和编码后将梯度发送到云服务器。它可以有效地实现预测准确性和通信间接费用之间的权衡。仿真结果表明，我们提出的政策的绩效优于现有政策。

Recent CLIP-guided 3D optimization methods, e.g., DreamFields and PureCLIPNeRF achieve great success in zero-shot text-guided 3D synthesis. However, due to the scratch training and random initialization without any prior knowledge, these methods usually fail to generate accurate and faithful 3D structures that conform to the corresponding text. In this paper, we make the first attempt to introduce the explicit 3D shape prior to CLIP-guided 3D optimization methods. Specifically, we first generate a high-quality 3D shape from input texts in the text-to-shape stage as the 3D shape prior. We then utilize it as the initialization of a neural radiance field and then optimize it with the full prompt. For the text-to-shape generation, we present a simple yet effective approach that directly bridges the text and image modalities with a powerful text-to-image diffusion model. To narrow the style domain gap between images synthesized by the text-to-image model and shape renderings used to train the image-to-shape generator, we further propose to jointly optimize a learnable text prompt and fine-tune the text-to-image diffusion model for rendering-style image generation. Our method, namely, Dream3D, is capable of generating imaginative 3D content with better visual quality and shape accuracy than state-of-the-art methods.

To reproduce the success of text-to-image (T2I) generation, recent works in text-to-video (T2V) generation employ large-scale text-video dataset for fine-tuning. However, such paradigm is computationally expensive. Humans have the amazing ability to learn new visual concepts from just one single exemplar. We hereby study a new T2V generation problem$\unicode{x2014}$One-Shot Video Generation, where only a single text-video pair is presented for training an open-domain T2V generator. Intuitively, we propose to adapt the T2I diffusion model pretrained on massive image data for T2V generation. We make two key observations: 1) T2I models are able to generate images that align well with the verb terms; 2) extending T2I models to generate multiple images concurrently exhibits surprisingly good content consistency. To further learn continuous motion, we propose Tune-A-Video with a tailored Sparse-Causal Attention, which generates videos from text prompts via an efficient one-shot tuning of pretrained T2I diffusion models. Tune-A-Video is capable of producing temporally-coherent videos over various applications such as change of subject or background, attribute editing, style transfer, demonstrating the versatility and effectiveness of our method.

Vector-Quantized (VQ-based) generative models usually consist of two basic components, i.e., VQ tokenizers and generative transformers. Prior research focuses on improving the reconstruction fidelity of VQ tokenizers but rarely examines how the improvement in reconstruction affects the generation ability of generative transformers. In this paper, we surprisingly find that improving the reconstruction fidelity of VQ tokenizers does not necessarily improve the generation. Instead, learning to compress semantic features within VQ tokenizers significantly improves generative transformers' ability to capture textures and structures. We thus highlight two competing objectives of VQ tokenizers for image synthesis: semantic compression and details preservation. Different from previous work that only pursues better details preservation, we propose Semantic-Quantized GAN (SeQ-GAN) with two learning phases to balance the two objectives. In the first phase, we propose a semantic-enhanced perceptual loss for better semantic compression. In the second phase, we fix the encoder and codebook, but enhance and finetune the decoder to achieve better details preservation. The proposed SeQ-GAN greatly improves VQ-based generative models and surpasses the GAN and Diffusion Models on both unconditional and conditional image generation. Our SeQ-GAN (364M) achieves Frechet Inception Distance (FID) of 6.25 and Inception Score (IS) of 140.9 on 256x256 ImageNet generation, a remarkable improvement over VIT-VQGAN (714M), which obtains 11.2 FID and 97.2 IS.

弱监督的动作本地化旨在仅使用视频级别的分类标签在给定的视频中进行本地化和分类。因此，现有的弱监督行动定位方法的关键问题是从弱注释中对精确预测的有限监督。在这项工作中，我们提出了视频级别和摘要级别的举止，即等级的层次策略，即等级监督和等级一致性挖掘，以最大程度地利用给定的注释和预测一致性。为此，提出了一个分层采矿网络（HIM-NET）。具体而言，它在两种谷物中挖掘了分类的层次监督：一个是通过多个实例学习捕获的地面真理类别的视频级别存在；另一个是从互补标签的角度来看，每个负标签类别的摘要级别不存在，这是通过我们提出的互补标签学习优化的。至于层次结构的一致性，HIM-NET探讨了视频级别的共同作用具有相似性和摘要级别的前景背景对立，以进行判别表示学习和一致的前景背景分离。具体而言，预测差异被视为不确定性，可以选择对拟议的前后背景协作学习的高共识。全面的实验结果表明，HIM-NET优于Thumos14和ActivityNet1.3数据集的现有方法，该数据集具有较大的利润率，通过层次挖掘监督和一致性。代码将在GitHub上提供。

在本文中，研究了FOG无线电访问网络（F-RAN）中的内容流行度预测问题。基于聚集的联合学习，我们提出了一种新颖的移动性知名度预测策略，该政策将内容受欢迎程度整合在本地用户和移动用户方面。对于本地用户，通过学习本地用户和内容的隐藏表示形式来预测内容的普及。本地用户和内容的初始功能是通过将邻居信息与自我信息结合在一起来生成的。然后，引入了双通道神经网络（DCNN）模型，以通过从初始功能中产生深层特征来学习隐藏表示形式。对于移动用户，通过用户偏好学习预测内容流行。为了区分内容受欢迎程度的区域变化，采用了聚类联合学习（CFL），这使具有相似区域类型的雾接入点（F-APS）彼此受益，并为每个F-AP提供更专业的DCNN模型。仿真结果表明，我们提出的政策对传统政策实现了重大的绩效提高。

FOG无线电访问网络（F-RAN）是一项有前途的技术，用户移动设备（MDS）可以将计算任务卸载到附近的FOG接入点（F-APS）。由于F-APS的资源有限，因此设计有效的任务卸载方案很重要。在本文中，通过考虑随时间变化的网络环境，制定了F-RAN中的动态计算卸载和资源分配问题，以最大程度地减少MD的任务执行延迟和能源消耗。为了解决该问题，提出了基于联合的深入强化学习（DRL）算法，其中深层确定性策略梯度（DDPG）算法在每个F-AP中执行计算卸载和资源分配。利用联合学习来培训DDPG代理，以降低培训过程的计算复杂性并保护用户隐私。仿真结果表明，与其他现有策略相比，提议的联合DDPG算法可以更快地实现MDS更快的任务执行延迟和能源消耗。

在卫星布局设计中，热源布局优化（HSLO）是一种有效的技术，可降低最高温度并改善整个系统的热量管理。最近，已经提出了深度学习的替代辅助HSLO，该辅助辅助HSLO从布局到相应的温度场进行了映射，以便在优化过程中替换仿真以大大降低计算成本。但是，它面临两个主要挑战：1）特定任务的神经网络代理通常是手动设计的，这是复杂的，需要丰富的调试经验，这对工程领域的设计师来说是具有挑战性的； 2）现有的HSLO算法只能在单个优化中获得几乎最佳的解决方案，并且很容易被捕获以局部最佳限制。为了应对第一个挑战，考虑减少总参数编号并确保相似的准确性以及与特征金字塔网络（FPN）框架相结合的神经体系结构搜索（NAS）方法，以实现自动搜索小型搜索的目的深度学习的替代模型。为了应对第二项挑战，提出了一种基于多模式搜索的布局优化算法（MNSLO），该算法（MNSLO）可以单一优化同时获得更多，更好的近似最佳设计方案。最后，利用了两个典型的二维热传导优化问题来证明该方法的有效性。具有相似的精度，NAS找到了比原始FPN的参数少80％，拖失板少64％和36％的模型。此外，在自动搜索的深度学习代理人的帮助下，MNSLO可以同时实现多个接近最佳的设计方案，以为设计师提供更多的设计多样性。

预先培训用于学习可转让的视频文本表示的模型，以近年来引起了很多关注。以前的主导作品主要采用两个独立的编码器来有效检索，但忽略视频和文本之间的本地关联。另一种研究使用联合编码器与文本交互视频，但是由于每个文本视频对需要馈送到模型中的低效率。在这项工作中，我们能够通过新颖的借口任务进行微粒视频文本交互，以便通过新颖的借口任务进行检索，称为多项选择题（MCQ），其中参数模块BridgeFormer培训以接受由此构建的“问题”。文本功能通过诉诸视频功能。具体来说，我们利用了文本的丰富语义（即，名词和动词）来构建问题，可以培训视频编码器以捕获更多区域内容和时间动态。以问题和答案的形式，可以正确建立本地视频文本功能之间的语义关联。 BridgeFormer能够删除下游检索，只有两个编码器渲染高效且灵活的模型。我们的方法在具有不同实验设置（即零拍摄和微调）的五个数据集中，在五个数据集中优于最先进的方法，包括不同的实验设置（即零拍摄和微调），包括HOWTO100M（一百万个视频）。我们进一步开展零射击动作识别，可以作为视频到文本检索，我们的方法也显着超越了其对应物。作为额外的好处，我们的方法在单模下游任务中实现了竞争力，在单模下游任务上具有更短的预训练视频，例如，使用线性评估的动作识别。